Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents
心跳思考：实时语音代理边听边推测推理与工具执行
🧭 实时语音 Agent 推测工具执行
Ant International
提出 Heartbeat Thinking 机制，在用户说话期间周期性启动 Thinker 并允许已派发工具继续完成，将监听时间转化为可复用的准备，显著提升工具覆盖率并降低最终响应延迟。
📌 工作参考价值（4 点）
- 在实时语音电商客服/导购中，可在 ASR 部分结果上周期性（heartbeat）启动 LLM 推理，不打断已派发工具调用，利用用户说话时间提前完成订单查询、库存检查等工具调用，降低首响延迟。
- 借鉴“共享推理记录 + 工具结果”的设计，将不同心跳周期内已完成的子任务结果保存下来，后续心跳只需补齐缺失参数或发起依赖调用，避免重复计算，提升并发利用率。
- 将推测性工具覆盖率和检索复用率作为在线指标，而不仅是最终任务质量；在语音 Agent 工程中监控“说话期间已完成工具调用比例”，用于评估 anticipation 能力。
- 如果业务中有长尾复杂请求（如退换货、多条件商品咨询），可采用类似多 Thinker 并发机制，允许部分推理分支自然终止，而不是强杀，减少截断导致的重算。